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MACHINE CULTURE : (fia Yirtnal Frontier 


a siggraph 93 exhibition chair + curator : simon penny fax# 904 302 8453 ph# 904 3759025 
mail : FAC302 Dept. of Art University of Florida Gainesville Florida 32611 USA 6/26/93 


To: Michael Saup fax 49 69 439 201 
Steina Vaeulka fax 605 473 0614 


Dear Steina and Michael, 

i want to apologise to you both for the inconvenience and uncertainty | have caused you. 
Since | had to cancel the performance event which would have included you and Stelarc, | 
have been working on arranging an alternative venue where you could both present your 
work. This has been made difficult because of shortage of appropriate space, shortage of 
equipment and the logistics of timetabling and publicizing such a performance in the 
siggraph context. | wanted to ensure that you would have a space which you could control, 
whioh would bo Ffroo from noiso and pausing traffic. This is not possible. So rathor than 
abuse you by offering a location that would not do justice to your work, | recommend that 
we cancel our plansto present your work at siggraph. | am personally disappointed about 
this, and | hope we have the chance to work together at some future time. 

Machine Culture will | thinkbe a greal show , | hope you can see ft and | hope we can meet there. 
yours sincerely, 





simon penny 


Please note that after July 2, my new address will be: 
Simon Penny 

ci- Dept of Art 

College of Fine Arts 

Carnegie Mellon University 

5000 Forbes Ave 

Pittsburgh PA 15213. 


Ph. 412 268 2409 
Fax. 412 268 7187 


COOREcK/ ANS. 


PS Steina: | tird to fax this to Michael at the above number, but it did not go through, could 
you check the number and/or send It on to him? thanks, sp. 
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Michael Saup 





Seit 1990 kinstlerisch-wissenschaftlicher Mitarbeiter 
an der Stadelschule Frankfurt, 
Institut fur Neue Medien 


1990 Lehrauftrag fur Video und Computermusik an 
der Hochschule fiir Gestaltung Offenbach 


seit 1989 Lehrauftrag fur Video und Computer an 
der Akademie der bildenden Kiinste, Munchen 


Von Sehmaschinen zu Multimediamaschinen 
Das Hauptinteresse meiner Forschungsarbeit an der Stadelschule — Institut 4 
fur Neue Medien, Frankfurt gilt der Steuerung von Bildern durch Klang. Ein 
Ziel dieser Tatigkeit stellt die Anforderung dar, moglichst viel Zeit und Arbeit 
durch eine Automatisierung ktinstlerischer Prozesse zu sparen. Das nicht. 
midifizierte Musikinstrument scheint, zu diesem Zeitpunkt den besten 
Sensor fur diese Aufgabe darzustellen, da es uber ein groBes Spektrum an 
Signalen verfugt. Der Arbeitsablauf involviert neben der kinstlerischen 
Konzeption die Entwicklung von Soft- und Hardware, sowie die Prasentation 
der Ergebnisse im Gegensatz zu konventioneller 2D- oder 3D- Software, die 
noch immer ein muhsames frame-by-frame-rendering beinhaltet, erlauben 
die erarbeiteten Losungen dem Kunstler, direkt in die Bild- und Klangwelten 
einzugreifen und sie gegebenenfalls auch zu editieren. 3D-Modelle konnen 
SO beispielsweise auf schnellem Wege aus der Realitat abstrahiert oder 
durch Klange erzeugt werden. 





Ausgangsmaterialien 
Audiodaten konnen in der folgenden Form vorliegen: 


Standard MIDI Files (hexadezimales Datenformat, das die meisten 
Softwaresequencer im- und exportieren konnen) 

MIDI-Impulse (werden erzeugt von Keyboards, MIDI-Gitarren, Pitchrider...) 
Analoge Klangquellen (Geige, Sprache, Gerausch....) 

vorproduzierte Samples (digitalisierte Klange) 


| 


Durch die Umwandlung der akustischen Signale von analog zu digital und 
einer anschlieBenden Interpretation dieser MeRwerte durch einen Steuer- 
computer wird es ermoglicht, geeignete bildgenerierende Gerate wie 
Workstations, Laserdisk-Player oder Harddisk- Rekorder anzusteuern und 
somit akustische Ereignisse in variable visuelle Erlebnisse umzusetzen. Das 
Bildmaterial kann hierbei in der folgenden Form vorliegen: 


— Live-Kamera-Input 

~ Laserdisk 

— Harddisk (Abekas A60: ein Gerat, das 30s Video von einer Harddisk 
abspielen und aufnehmen kann) 

— Videoband 

— 3D-Grafik in Echtzeit 


Es ist somit moglich, verschiedenste akustische Parameter wie Tonhohe, 
Lautstarke, Frequenzspektrum oder Rhythmik als Ausgangsimpulse fur eine 
visuelle Choreographie einzusetzen. 
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Mit Hilfe dieser Verfahren habe ich folgende Projekte 
realisiert: 


XTRA.TRAX (1989/90) Ein Computerprogramm er- 
zeugt aus Standard Midl Files Schnittlisten fur einen 
SONY-910-Videoschnittcontroller, die dann selbst- 
Standig abgearbeitet werden. Die Erzeugung eines 
Videoclips wird so auf komplexe Art und Weise 
automatisiert (Autodip}. 


A666 (1990) Der Abekas A60 wird direkt durch ein 
Musikinstrument angesteuert, d.h. ein Video wird nicht 
mehr geschnitten, sondern in Echtzeit gesteuert (Auto- 
scratching). 


PAULA CHIMES (1991) 16 StahlrGhren steuern klang- 
und bilderzeugende Peripherie (interaktives Instrument). 


TILT IT (1991) Uber algorithmisch erzeugte Bild- 
Strukturen (Cybertime) wird eine 3D-Reprasentation 
eines Gitarrensolos mit Reflectionmapping und 
Fileinterpolation animtert, d.h. die Reprasentation des 
Bildes ist gleichbedeutend mit der Reprasentation des 
Klanges (Autoclip). 


ROMISCHE HUNDE (zusammen mit Anne Sickler) 
(1991} Der Videoport des Theaterstticks am TAT Frank- 
furt (MultiMedia Event). 


DWARFMORPH (1992) Eine speziell entwickelte Soft- 
ware vermag direkt aus 2D-Videobildern 3D-Modelle 
abzuleiten und zu animieren, d.h. der Betrachter (via 
Videckamera abgetastet) wird ein direktes bildnerisches 
Element eines dreidimensionalen virtuellen Raums 
(Automodel, Autopresence). 


HYENA DAYS (1992) Ein Konzert visueller Musik mit 
Steina Vasulka auf der Ars Electronica 1992. Die 
Musiker konnen mit ihren Instrumenten bild- und kiang- 
erzeugende Maschinen steuern. Diese Bilder werden 
dann auf Videomonitoren und Videobeamern darge- 
Stellt (MultiMedia Event). 
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Verfahren der Bildmanipulation 


NON-REALTIME: 
Diese Verfahren eignen sich dazu, visuelles Ausgangsmaterial flr Laserdisks, 
Harddisks oder Videobander zu generieren, das spater wieder angesteuert 
werden kann: | 
- Digital Signal Processing (DSP): Edge Detection, Filterung und 
Fast Fouriér Transformation auf Bilder angewandt 
— konventionelle 2D & 3D Animation 
—- komplexe audioverkoppelte Bildgenerierung 


REALTIME: 
Diese Verfahren konnen live, das hei®t in Echtzeit angewendet werden: 
~ Laser- und Harddisksteuerung mit verschiedenen Parametern: variable 
Geschwindigkeiten, gotoframe 
— Realtime-Grafik 
~ Anwendung von unbearbeiteten Eingangsdaten auf 3D-Modelle 
— Anwendung von bearbeiteten akustischen Eingangsdaten 
(FFT...) auf 3D-Modelle 
~ Texturemapping von allen Bildquellen auf diese 3D-Modelle 
— Realtime Warping: Bilder werden dreidimensional verzerrt.. 
— Realtime Morphing: Bilder verwandeln sich in andere... 


Verfahren der Klangerzeugung 


In einer Art Multitasking konnen neben der Bildsteuerung noch klanger- 


zeugende Peripheriegerate wie Sampler, Mischpulte oder Effektprozessoren 

gesteuert werden. Akustisches Material wird folgendermaBen erzeugt: 

— Klangsynthese 

Auto Komposition: 

~ MlDlbrain: der Computer hort mit und komponiert 

- MiDicloning: der Computer hort mit und ahmt Musik nach 

— algorhithmische, mathematische Methoden: zum Beispiel 
Randomwalk, Feigenbaum.... 

Veranderung von Effektparametern, wie Halltiefe, Lautstarke. 

Verzerrungsgrad, usw. bei Effektprozessoren 

destruktives Echo (selferasing loops) 


Samtliche entwickelten Systeme (Hardware und Software) zielen darauf ab, 
dem ausfuhrenden Kunstler (Bild und Ton) eine Vielzahl kreativer, automati- 
sierter Vorschlage zu unterbreiten,. Es ware somit auch kein technologisches 
Problem mehr, mit einer Stradivari einen Bagger fernzusteuern, sondern nur 
noch ein kunstlerisches (oder umgekehrt). 
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